Đảng Cộng sản Nhật Bản (日本共産党, Nippon Kyosantō?) (ĐCSNB) được thành lập vào ngày 15 tháng 7 năm 1922, như một chi nhánh ngầm của Đệ Tam Quốc tế bởi một nhóm các nhà hoạt động xã hội chủ nghĩa, gồm Yamakawa Hitoshi, Arahata Kanson, Sakai Toshihiko, Tokuda Kyūichi và Nosaka Sanzō. Ngay lập tức bị đặt ngoài vòng pháp luật theo Luật Duy trì trị an, JCP phải chịu sự đàn áp của hiến binh và cảnh sát.

Đảng do Yamakawa Hitoshi thống trị trong những năm đầu thành lập, nhưng Yamakawa đã chính thức giải thể đảng vào năm 1924, nói rằng thời điểm ấy không thích hợp cho một đảng cộng sản ở Nhật Bản. Cũng trong năm 1924, Fukumoto Kazuo trở về nước sau thời gian nghiên cứu chủ nghĩa Mác ở Đức và Pháp, đã công kích gay gắt đường lối tiếp cận của Yamakawa, với lí do cần phải thành lập một đảng tiên phong theo mô hình chủ nghĩa Lenin. Ông chủ trì việc tái lập ĐCSNB vào năm 1926. Sự khác biệt giữa Yamakawa và Fukumoto là cả về lí thuyết lẫn thực tiễn, vì Yamakawa muốn tránh thảo luận về hệ thống Thiên hoàng và có hay không việc nó đại diện cho chế độ phong kiến ​​(như Đệ Tam Quốc tế và Fukumoto nghĩ), hoặc là nó cũng chẳng khác gì Chế độ quân chủ Anh như Yamakawa đã duy trì.

Vào ngày 15 tháng 7 năm 1927, Đệ Tam Quốc tế đưa ra một luận điểm công kích cả Yamakawa và Fukumoto, yêu cầu đảng này phấn đấu cho một cuộc cách mạng hai giai đoạn ngay lập tức, nhằm lật đổ chính phủ Nhật Bản, đặc biệt là chế độ Thiên hoàng và Quốc hội Nhật Bản, phân phối lại của cải và cả chính sách thuận lợi với Liên Xô.

Trong Sự kiện ngày 15 tháng Ba năm 1928 và Sự kiện ngày 16 tháng Tư năm 1929, hàng ngàn người bị tình nghi là cộng sản đã bị bắt giữ trên toàn quốc. Trong một phiên tòa mở đặc biệt của Sở Tài phán Địa phương Tokyo (東京地方裁判所) trong 108 phiên từ ngày 25 tháng 6 năm 1931 đến ngày 2 tháng 7 năm 1932, khoảng 300 thành viên của ĐCSNB đã bị kết án. Phiên tòa được Bộ Nội vụ (Nhật Bản) dàn dựng cẩn thận nhằm vạch trần hoạt động bên trong của ĐCSNB, cũng như chiến lược phá hoại trật tự chính trị hiện có của tổ chức này. Tất cả các bị cáo đều bị tuyên có tội và bị tuyên các bản án rất nghiêm khắc, nhưng những người công khai sẽ chuyển hướng (転向, tenkō?) tư tưởng cộng sản của họ và những ai đồng ý cải tạo sẽ được giảm nhiều mức án.

Năm 1931, ĐCSNB ngầm đưa ra một luận điểm mới, kêu gọi cách mạng xã hội chủ nghĩa ngay lập tức. Cách tiếp cận cấp tiến này đã dẫn đến sự rạn nứt của ban lãnh đạo ĐCSNB, dẫn đến sự tấn công từ các nhà dân chủ xã hội và thêm sự đàn áp từ chính phủ. Không có viện trợ nước ngoài từ Đệ Tam Quốc tế (ĐCSNB bị các đối tác Liên Xô nghi ngờ là bị lây nhiễm chủ nghĩa Trotsky), phong trào cộng sản Nhật Bản hầu như không còn tồn tại sau năm 1935 sau những vụ bắt giữ lãnh đạo và giải tán hàng loạt tổ chức ủng hộ. Đảng phái này không được phép tái lập cho đến sau chiến tranh.